Image-text multimodal representation learning aligns data across modalities and enables important medical applications, e.g., image classification, visual grounding, and cross-modal retrieval. In this work, we establish a connection between multimodal representation learning and multiple instance learning. Based on this connection, we propose a generic framework for constructing permutation-invariant score functions with many existing multimodal representation learning approaches as special cases. Furthermore, we use the framework to derive a novel contrastive learning approach and demonstrate that our method achieves state-of-the-art results on a number of downstream tasks.
translated by 谷歌翻译
统计监督的学习框架假设了一个输入输出集，其联合概率分布可可靠地由培训数据集表示。然后，要求学习者从培训数据集的输入输出对中输出从培训数据集的输入规则。在这项工作中，我们在机器学习的背景下，我们提供了对渐近式式属性属性（AEP）\ citep {Shannon：1948}的有意义的见解，并阐明了其一些潜在的后果，以实现几次学习。我们为信息理论AEP下的可靠学习提供了理论保证，以及相对于样本量的概括错误。然后，我们专注于高效的复发性神经网（RNN）框架，并提出了用于几次学习的降低渗透算法。我们还提出了RNN的数学直觉，作为稀疏编码求解器的近似值。我们通过图像脱张和光学相干断层扫描（OCT）示例验证所提出方法的适用性，鲁棒性和计算效率。我们的实验结果表明，改善学习模型的样本效率，概括和时间复杂性的显着潜力，因此可以利用实时应用。
translated by 谷歌翻译
在术前设置中，使用了数字重建的X光片（DRR）来解决诸如切片到体积注册和3D重建之类的反问题。在术中成像中，DRR的实用性受到实时生成它们的挑战的限制，并支持依赖重复的DRR合成的优化程序。尽管通过算法改进和GPU实现加速了DRR的生成，但基于DRR的优化仍然很慢，因为大多数DRR发电机没有提供有关成像参数的梯度的直接方法。为了使DRR与基于梯度的优化和深度学习框架互操作，我们重新重新制定了Siddon的方法，Siddon的方法是DRR生成中使用的最流行的射线追踪算法，作为一系列矢量化的张量操作。我们在Pytorch中实现了Siddon方法的矢量化版本，利用了图书馆的强大自动分化引擎，使该DRR发电机相对于其参数完全可区分。此外，使用GPU加速张量计算使我们的矢量实现能够实现与CUDA和C ++实现的最新DRR发电机相同的渲染速度。我们在切片到体积注册的上下文中说明了所得的方法。此外，我们的模拟表明，在最佳解决方案附近，切片到体积注册问题的损失景观是凸的，基于梯度的注册有望比普遍的无梯度优化策略更快。提出的DRR发电机使快速的计算机视觉算法能够在微创过程中支持图像指导。我们的实施公开可在https://github.com/v715/diffdrr上获得。
translated by 谷歌翻译
使用深度学习对胸部射线照相的自动分析具有巨大的潜力，可以增强患者疾病的临床诊断。但是，深度学习模型通常需要大量的带注释的数据来实现高性能 - 通常是医疗领域适应的障碍。在本文中，我们构建了一个利用放射学报告来通过有限的标记数据（少于1000个示例）来改善医学图像分类性能，以提高医学图像分类性能。具体而言，我们检查了捕获图像预告片，以学习以更少的例子进行训练的高质量医学图像表示。在对卷积编码器和变压器解码器进行联合预测之后，我们将学习的编码器转移到各种分类任务中。平均9多种病理学，我们发现我们的模型在标记培训数据受到限制时，比参见和内域监督的预处理的分类性能更高。
translated by 谷歌翻译
血氧水平依赖性（BOLD）用母体高氧可以评估胎盘内的氧运输，并已成为研究胎盘功能的有前途的工具。测量信号随着时间的变化需要在时间序列的每个体积中分割胎盘。由于大胆的时间序列中的数量大量，现有研究依靠注册将所有卷映射到手动分段模板。由于胎盘由于胎儿运动，母体运动和收缩而导致大变形，因此这种方法通常会导致大量废弃体积，而注册方法失败。在这项工作中，我们提出了一个基于U-NET神经网络体系结构的机器学习模型，以自动以粗体MRI分割胎盘，并将其应用于时间序列中的每个卷。我们使用边界加权损失函数来准确捕获胎盘形状。我们的模型经过训练和测试，并在91位包含健康胎儿的受试者，胎儿生长限制的胎儿以及BMI高的母亲中进行了测试。当与地面真实标签匹配时，我们的骰子得分为0.83 +/- 0.04，并且我们的模型在粗体时间序列中可靠地分割量氧和高氧点的量。我们的代码和训练有素的模型可在https://github.com/mabulnaga/automatic-placenta-mentegation上获得。
translated by 谷歌翻译
在几乎不可预测且通常严重的主题运动的情况下获得的多个MR Slices的胎儿大脑的体积重建是一项具有挑战性的任务，对切片转换的初始化非常敏感。我们建议使用经过合成转换数据训练的变压器提出了一种新型的切片到体积的注册方法，该数据将MR Slices的多个堆栈模拟为序列。通过注意机制，我们的模型会自动检测切片之间的相关性，并使用来自其他切片的信息预测一个切片的转换。我们还估计了基础3D卷，以帮助切片到体积的注册，并交替更新音量和转换以提高准确性。合成数据的结果表明，与现有的最新方法相比，我们的方法可实现较低的注册误差和更好的重建质量。还进行了使用现实世界中MRI数据的实验，以证明该模型在严重的胎儿运动下提高3D重建质量的能力。
translated by 谷歌翻译
尽管深度学习的卓越性能（DL）在许多分割任务上，但基于DL的方法令人惊奇地过于对高偏振标签概率的预测。对于许多具有固有标签歧义的许多应用通常是不可取的，即使在人类注释中也是如此。通过利用每张图片的多个注释和分割不确定性来解决这一挑战。但是，多次图像的批次通常不可用，在真实的应用程序中，不确定性在分段结果对用户的情况下不提供完全控制。在本文中，我们提出了新的方法来改善分割概率估计，而不会在真实情景中牺牲性能，我们只有每张图片只有一个暧昧的注释。我们将估计的网络分割概率图边缘化，这是鼓励/过度的网络上/过度段，而没有惩罚平衡分割。此外，我们提出了一个统一的HyperNetwork合奏方法，以减轻培训多个网络的计算负担。我们的方法成功地估计了反映了底层结构的分割概率图，并为具有挑战性的3D医学图像分割进行了直观控制。虽然我们所提出的方法的主要重点不是提高二元分割性能，但我们的方法略微超越了最先进的。该代码可用于\ url {https://github.com/sh4174/hypernetensemble}。
translated by 谷歌翻译
我们提出了一种基于体积的基于网格的算法，用于参数化胎盘到扁平模板，以实现局部解剖结构和功能的有效可视化。 MRI显示潜在作为研究工具，因为它提供与胎盘功能直接相关的信号。然而，由于胎盘体内形状的弯曲和高度变化，解释和可视化这些图像是困难的。我们通过绘制胎盘来解决解释挑战，以便它类似于熟悉的离体形状。我们将参数化作为优化问题，用于将体积网格表示的胎盘形状映射到扁平模板。我们采用对称的Dirichlet Energy来控制整个体积的局部变形。在梯度下降优化期间，映射中的局部注射是由约束的线路搜索强制执行的。我们使用从大胆的MRI图像中提取的111个胎盘形状的研究研究验证了我们的方法。我们的映射在匹配模板时实现了子体素准确性，同时保持整个音量的低失真。我们展示了胎盘的扁平化程度如何改善解剖学和功能的可视化。我们的代码在https://github.com/mabulnaga/plentaa-flatteny自由提供。
translated by 谷歌翻译
在医疗保健中采用机器学习模型需要最终用户对系统的信任。为他们的预测提供额外的支持证据，以促进通过。我们定义了一致的证据，既兼容，又充分涉及模型预测。我们提出了促进更一致的证据的模型不一致和常规方案的措施。我们在从胸部射线照片的水肿严重程度分级的背景下展示了我们的想法。我们经验证明，一致的模型在支持解释时提供竞争性能。
translated by 谷歌翻译
血管内超声和光学相干断层扫描可广泛用于表征冠状动脉狭窄，并提供关键的血管参数以优化经皮干预。同时提供血管内极化敏感的光学相干断层扫描（PS-OCT），可提供血管结构的高分辨率横截面图像，同时还揭示了胶原蛋白和平滑肌等优惠的组织成分，从而增强了斑块表征。对这些特征的自动解释有望促进对冠状动脉瘤的自然历史和意义的客观临床研究。在这里，我们提出了一种使用新的多项损耗函数进行优化的卷积神经网络模型，除了导丝和斑块阴影外，还对管腔，内部和媒体层进行了分类。我们证明，我们的多类分类模型在检测冠状动脉解剖层方面优于最先进的方法。此外，所提出的模型将两类的常见成像伪像，并检测到增厚血管壁区域内的解剖层，这些层被其他研究排除在分析之外。源代码和受过训练的模型可在https://github.com/mhaft/octseg上公开获得
translated by 谷歌翻译